1
先進生成式AI的版圖
PolyU COMP5511Lesson 11
00:00

先進生成式AI的 先進生成式AI 版圖已從孤立的單體模型演變為以 複合式AI系統為核心的多層次生態系統。這一轉變脫離了單純的機率性符元預測,轉向能協調基礎模型(FMs)、模組化外掛程式及跨模態合成的系統。

運算/雲端基礎設施LLMs擴散模型音訊/程式碼編排與代理層

生成式技術棧的分類

  • 基礎設施層:硬體骨幹(GPUs/TPUs)與雲端服務,提供訓練與高速推論所需的大量運算資源。
  • 模型層:基礎模型(FMs),如 GPT-4、Llama 3 和 Stable Diffusion,作為不同模態的專門引擎。
  • 編排層:管理邏輯、資料流與檢索的框架,將模型從「凍結」的權重轉變為具備 即時情境感知的系統。

模態融合

技術趨勢聚焦於統一架構——主要是Transformer和擴散模型——以實現共享的潛在空間。這使得單一統一介面得以成立,文字、圖像和影片可作為連續資訊流進行操作,在數學上表現為不同潛在流形之間的映射 $M_{text} \leftrightarrow M_{visual}$。

結構演進
我們正從僅依賴訓練資料參數 $\theta$ 的「閉卷」模型,邁向利用外部環境狀態 $E$ 透過 $P(y|x, E)$ 解決複雜推理任務的「開卷」系統。
Python 實作